moe

团队SAIL-VL2:2B参数媲美大模型

这项由抖音SAIL团队与新加坡国立大学LV-NUS实验室联合开展的研究发表于2025年9月,论文详细介绍了他们开发的SAIL-VL2多模态基础模型。有兴趣深入了解的读者可以通过论文链接https://huggingface.co/BytedanceDouyin

模型 模态 推理 开源 moe 2025-09-29 20:58  2

云上AI推理平台全掌握(6):大规模EP专家并行

近年来,混合专家模型(Mixture of Experts,MoE)在大型语言模型领域展现出巨大潜力。MoE 架构是一种高效扩展模型规模的新技术,利用了“分而治之”的思想,设计了一系列不同的子网络(称为“专家”),通过门控网络来动态决定当前的输入应该交由哪几个

推理 moe ep eas decode 2025-09-27 12:12  2

自动驾驶中提到的WEWA架构是个啥?

WEWA全称可以理解为“World Engine+World Action”。它把实现自动驾驶的思路拆成两层,一层在云端,负责“造世界、训练模型、把难题推演透”;另一层在车端,负责“看世界、理解世界、直接下决定并把车开出去”。云端是大脑的训练工厂,车端是实时决

架构 moe vla wewa wewa架构 2025-09-26 16:49  2

大模型“卷”向多模态, 深度解析蚂蚁实践思路

大模型正在加速进化,从“能处理多种模态”走向“真正的全模态”。这意味着,它们不仅会生成文字、图像、语音、视频,还能把这些能力融会贯通,做到跨模态的理解与生成统一。然而,要让模型既能完成复杂推理,又能感知动态场景、把握长时上下文,其实远比“功能堆砌”要复杂得多,

模型 模态 蚂蚁 moe 百灵 2025-09-26 14:07  2

DPU构建新⼀代AI网络的优势与关键技术

当前,我们正处于两个“ Scaling Law”激烈碰撞的时代。⼀个是摩尔定律的Scaling Law,就是摩尔定律,⼤家的看到的共识就是摩尔定律从2015年开始就已经显著放缓了,也就意味着单位芯片面积上能提供的性能增量变得越来越小。但是我们感受到,芯片的性能

dpu 技术 gpu io moe 2025-09-24 08:10  2

人工智能基础设施2025实施指南

对 MLOps 团队而言,AI 基础设施的关键变化在于:以网络为先的集群设计、面向内存的调度策略,以及数据中心级的供电与散热。优化目标应聚焦于集群层面的作业吞吐、可靠性与可运维性,而非单卡峰值指标。本文将最新基础设施进展转化为可落地的指导手册、SLO 与采购要

人工智能 张量 机架 moe slo 2025-09-21 05:26  5